เจ้าจอมทับทิม ในรัชกาลที่ 4 (สกุลเดิม เพ็ญกุล) เป็นธิดาคนหนึ่งของเจ้าพระยามหินทรศักดิ์ธำรง (เพ็ง เพ็ญกุล) กับท่านผู้หญิงหุ่น[1] ซึ่งบิดาของเจ้าจอมเป็นข้าหลวงเดิม รับราชการสนองพระเดชพระคุณพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวมาตั้งแต่ยังผนวชจนเป็นที่โปรดปราน[2] กล่าวกันว่าทรงเลี้ยงนายเพ็งดุจบุตรบุญธรรม เมื่อพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงเถลิงถวัลยราชสมบัติเจ้าพระยามหินทรศักดิธำรง จึงได้ถวายธิดาที่เกิดแต่ท่านหุ่นให้รับราชการเป็นเจ้าจอม[1]หลังจากที่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเสด็จสวรรคต เจ้าจอมทับทิมจึงได้ออกจากพระบรมมหาราชวังมาพำนักกับบิดา ซึ่งภายหลังเจ้าจอมทับทิมได้ออกไปวิวาหมงคลกับพระยาราชานุประพันธ์ (สุดใจ บุนนาค)[1]เจ้าจอมทับทิมมีพี่น้องที่ได้รับราชการฝ่ายในคือเจ้าจอมมารดามรกฎ ในรัชกาลที่ 5